Agribank được thành lập ngày 26 tháng 3 năm 1988. Lúc mới thành lập, ngân hàng mang tên là Ngân hàng Phát triển Nông nghiệp Việt Nam. Cuối năm 1990, ngân hàng được đổi tên thành Ngân hàng Nông nghiệp Việt Nam. Cuối năm 1996 ngân hàng lại được đổi tên thành tên gọi như hiện nay.

Năm 2003, Chủ tịch nước Việt Nam đã trao tặng Ngân hàng Nông nghiệp và Phát triển Nông thôn danh hiệu Anh hùng Lao động thời kỳ Đổi mới.